home *** CD-ROM | disk | FTP | other *** search
/ AOL File Library: 9,300 to 9,399 / 9300.zip / AOLDLs / E-Zines / EZINE_ TidBITS#336 (MAC) / tb336.txt < prev   
Text File  |  2014-12-11  |  30KB  |  592 lines

  1. TidBITS#336/15-Jul-96
  2. =====================
  3. 
  4. Despite a heat wave in Seattle, this week's issue contains news of
  5.    updates to the popular RAM Doubler and Retrospect, along with
  6.    details about the contents of the Microsoft Empowerment Pack, an
  7.    article about Claris OfficeMail, and a look at how to ask search
  8.    engines to ignore Usenet postings and Web pages. Also, we look
  9.    briefly at some new and updated programs of interest to Mac
  10.    Webmasters: MacHTTP, WebSTAR, NetForms, Phantom, LogDoor, and
  11.    LogRoller.
  12. 
  13. This issue of TidBITS sponsored in part by:
  14. * APS Technologies -- 800/443-4199 -- <sales@apstech.com>
  15.    Makers of hard drives, tape drives, and neat SCSI accessories.
  16.    For APS price lists, email: <aps-prices@tidbits.com>
  17. * Northwest Nexus -- 206/455-3505 -- <http://www.halcyon.com/>
  18.    Providing access to the global Internet. <info@halcyon.com>
  19. * Power Computing -- 800/375-7693 -- <info@powercc.com>
  20.    PowerTower 180 MHz - the fastest Mac OS system ever made.
  21.    Win a PowerCenter 120! <http://www.powercc.com/>
  22. * America Online -- 800/827-6364 -- <http://www.aol.com/>
  23.    The world's largest provider of online services.
  24.    Give Back to the Net -- <http://www.aol.com/give/>
  25. * EarthLink Network -- 800/395-8425 -- <sales@earthlink.net>
  26.    Providers of direct Internet access for Macintosh users.
  27.    For eWorld refugees: no setup fee! <http://www.earthlink.net/>
  28. * DealBITS: Memory prices continue to drop! <---------------- NEW!
  29.    <http://www.tidbits.com/dealbits/> -- <dealbits@tidbits.com>
  30. 
  31. Copyright 1990-1996 Adam & Tonya Engst. Details at end of issue.
  32.    Information: <info@tidbits.com> Comments: <editors@tidbits.com>
  33.    ---------------------------------------------------------------
  34. 
  35. Topics:
  36.     MailBITS/15-Jul-96
  37.     Web Updates and Utilities
  38.     Power to the Masses from Microsoft
  39.     Claris OfficeMail Debuts
  40.     Keeping Robots Out of Your Corner of the Net
  41. 
  42. <ftp://ftp.tidbits.com/pub/tidbits/issues/1996/TidBITS#336_15-Jul-96.etx>
  43. 
  44. 
  45. MailBITS/15-Jul-96
  46. ------------------
  47. 
  48. **RAM Doubler 2 Coming** -- Connectix has announced that it
  49.   expects to ship RAM Doubler 2 in time for Macworld Boston this
  50.   August. Among other changes, RAM Doubler 2 will offer a control
  51.   panel interface, a faster compression engine, and allow users to
  52.   triple the amount of memory your Macintosh thinks it has
  53.   available. Rebates on RAM Doubler 2 will be available for current
  54.   users; free upgrades will be available for recent purchasers. [GD]
  55. 
  56. <http://www.connectix.com/connect/RPM.html>
  57. 
  58. 
  59. **Retrospect 3.0A Updater** -- Dantz has finally released the 3.0A
  60.   update to its popular backup program Retrospect. The new version
  61.   adds support for Windows Remotes, so you can now back up Windows
  62.   machines on your network using Retrospect. Since these Windows
  63.   machines probably aren't running AppleTalk, Retrospect 3.0A uses
  64.   TCP/IP and Open Transport to communicate with them. The new
  65.   version adds a few specific features including support for Sony
  66.   DAT drives with older firmware and the ability to format 8mm
  67.   Exabyte tapes. The update also corrects problems including
  68.   troubles relating to RAM; better support for Arabic, Hebrew, and
  69.   Chinese characters; and a fix to seeing spurious volumes on Novell
  70.   servers. RAM Doubler users should note that 3.0A improves
  71.   compatibility with RAM Doubler, and that Dantz recommends that you
  72.   use version 1.6.2 or later with System 7.5.3. You can download the
  73.   1.6 MB updater file from Dantz's Web or FTP site, but be aware
  74.   that both sites are pretty busy right now. [ACE]
  75. 
  76. <http://www.dantz.com/retro_30A_updater.html>
  77. <ftp://ftp.dantz.com/pub/updates/Retrospect_30A_Updater.sit.hqx>
  78. 
  79. 
  80. Web Updates and Utilities
  81. -------------------------
  82.   by Adam C. Engst <ace@tidbits.com>
  83. 
  84.   With the Mactivity conference happening this week, there has been
  85.   a ton of Web-related activity in the Macintosh world. Here are a
  86.   few of the early announcements along with some news about security
  87.   issues in MacHTTP and WebSTAR. Look for more new product
  88.   announcements next week after we've had a chance to sort through
  89.   all the press releases, announcements, and gossip for the
  90.   interesting stuff.
  91. 
  92. 
  93. **MacHTTP Mandatory Update** -- Chuck Shotton <cshotton@biap.com>,
  94.   author of the shareware MacHTTP and its commercial version,
  95.   WebSTAR, has released what he calls an "important, mandatory
  96.   update" to correct a potential security problem with MacHTTP 2.2
  97.   and earlier versions. In certain rare circumstances, this problem
  98.   could allow unauthorized access to files on your server. If you're
  99.   running a previous version of MacHTTP or WebSTAR PS (the version
  100.   of MacHTTP distributed with the WebMaster Mac book) you should
  101.   download the complete MacHTTP 2.2 distribution from StarNine's Web
  102.   site and then update it with the patch application.
  103. 
  104. <http://www.starnine.com/machttp/machttpsoft.html/>
  105. 
  106. 
  107. **WebSTAR Updated** -- Along with the update to MacHTTP, StarNine
  108.   also released WebSTAR 1.3.1, a minor update to the just-released
  109.   WebSTAR 1.3 (which supports custom plug-ins for increased
  110.   performance over similar CGIs). It turns out that Chuck Shotton
  111.   had at one time added a custom URL to MacHTTP to display the
  112.   copyright information to satisfy lawyers, and he expanded the
  113.   results of that custom URL to include the basic server statistics
  114.   that the program reports in its application window. Apparently,
  115.   Chuck simply didn't get around to removing that custom URL while
  116.   it was MacHTTP or during the move to WebSTAR, but did so for
  117.   WebSTAR 1.3.1 when knowledge of the URL became public. Even though
  118.   the URL didn't affect file security at all, many WebSTAR users
  119.   didn't want just anyone to be able to view the statistics.
  120. 
  121. <http://www.starnine.com/webstar/webstarupdates.html>
  122. <ftp://ftp.starnine.com/pub/updates/webstar/webstar_version_history>
  123. 
  124. 
  125. **Maxum Ships NetForms 2.0 & Phantom 1.1** -- Maxum Development
  126.   has shipped a faster and Open Transport-native NetForms 2.0, its
  127.   popular back-end Web server tool, which enables Mac Webmasters to
  128.   do sophisticated forms processing on their Web sites. Current
  129.   NetForms licensees can just drop their key on the demo
  130.   application. Also, Maxum recently shipped version 1.1 of Phantom,
  131.   a Mac-based Web robot which builds searchable HTML indexes of Web
  132.   sites and performs mirroring and updating of sites. Phantom is
  133.   compatible with robots exclusion standards, and provides keyword,
  134.   boolean, and phonetic searching among other features. Phantom 1.1
  135.   is an upgrade to AKTIV Software's Duppies 1.0 and is free for
  136.   Duppies licensees; new users can buy Phantom for $295 through
  137.   31-Jul-96.
  138. 
  139. <http://www.maxum.com/>
  140. 
  141. 
  142. **Lumbering in the Pacific Northwest** -- Two new applications
  143.   from Pacific Northwest developers, Open Door Networks in Oregon
  144.   and ComVista Internet in Washington, should help Webmasters work
  145.   with logs. Open Door Networks' $249 LogDoor (with a $179
  146.   introductory price from the anticipated ship date of 01-Sep-96 to
  147.   01-Nov-96 - an evaluation version is available now) provides
  148.   real-time logs for multiple sites on a single server that uses
  149.   Open Door Networks' HomeDoor, and it breaks single monolithic log
  150.   files into smaller, more manageable files. LogDoor can also
  151.   display its real-time logs via the Web. Although LogDoor 1.0
  152.   currently has only a basic feature set, future plans include
  153.   things like file level logging and real-time graphing. ComVista's
  154.   free LogRoller fills a more simple need - it works with WebSTAR to
  155.   create a new log, rename the old one, and move the old one into a
  156.   user specified folder. No more manual editing of huge log files to
  157.   make them cover the correct time period! LogRoller can roll over
  158.   your logs hourly, daily, weekly, or monthly.
  159. 
  160. <http://www.opendoor.com/logdoor/>
  161. <http://www.comvista.com/soft/logroller/>
  162. 
  163. 
  164. Power to the Masses from Microsoft
  165. ----------------------------------
  166.   by Tonya Engst <tonya@tidbits.com>
  167. 
  168.   Registered users of Microsoft's Excel 5, PowerPoint 4, Word 6, or
  169.   Office 4 should keep an eye on their mail for a free CD-ROM,
  170.   called the Microsoft Empowerment Pack for the Macintosh. The CD
  171.   includes both the System 7.5 Update 2.0 (which updates System 7.5,
  172.   7.5.1, or 7.5.2 to version 7.5.3; see TidBITS-318_) and System
  173.   7.5.3 Revision 2 (which should be used on some computers running
  174.   System 7.5; see TidBITS-332_). According to Microsoft, System
  175.   7.5.3 makes Office applications launch faster.
  176. 
  177.   The CD also offers the Word 6.0.1a update, Internet Explorer
  178.   2.0.1, a collection of cached Web sites, Internet Assistant for
  179.   Word and Excel, an offer for a discount on RAM from Kingston, and
  180.   more. Apparently, at a periodic business review, Bill Gates was
  181.   wondering what could be done to make Mac customers happier, and
  182.   this CD comes as the result of that discussion.
  183. 
  184.   Registered Microsoft Office 3 users (or people owning individual
  185.   applications that comprise Office 3) will receive a mail-in card
  186.   that they can send in order to acquire the CD, or they can call
  187.   800/469-6520, department MCA. Unfortunately, the CD only contains
  188.   English language versions of Microsoft software, and Microsoft
  189.   does not currently have plans to offer it outside the United
  190.   States or to create non-English language versions.
  191. 
  192. <http://www.microsoft.com/corpinfo/press/1996/jul96/macpckpr.htm>
  193. 
  194.   The CDs packaging oddly notes on its cover that it "may not change
  195.   your world," a statement that confused and amused Adam to no end,
  196.   because after opening the pack, I had rearranged its complex
  197.   series of folds so the punch line, "it just might expand it," had
  198.   been buried beneath several layers of cardboard. After you pry the
  199.   CD out of its packaging, but before you use it, you may wish to
  200.   learn from the experiences that TidBITS reader Corl Riblet
  201.   reported. When Corl launched the Microsoft Empowerment Pack, he
  202.   was so startled to find Microsoft Internet Explorer launching that
  203.   - in a state of some alarm - he aborted the launch. Indeed, the
  204.   Empowerment Pack uses Internet Explorer to run its installation
  205.   system, so don't be startled!
  206. 
  207.   The Empowerment Pack also fails to make an important distinction
  208.   between who needs to run the Word 6.0.1a updater and who does not.
  209.   If you are using Word 6.0, you almost certainly want to run the
  210.   updater in order to take advantage of the many fixes version 6.01
  211.   offers. The Word Update/Product Info section of the Empowerment
  212.   Pack describes some of the fixes in a general sort of way, but
  213.   fails to provide a Web link or reference to the real scoop, which
  214.   you can find online at:
  215. 
  216. <http://www.microsoft.com/kb/deskapps/word/q129242.htm>
  217. 
  218.   For users of Word 6.01, version 6.0.1a adds one thing, and one
  219.   thing only - it incorporates as part of the application the Word-
  220.   related functionality also available through the Office 4.2x
  221.   Update for Power Mac, which corrects some crashing problems on
  222.   Power Macintoshes (see TidBITS-289_). Installing 6.0.1a on any
  223.   Macintosh makes sense as a replacement to 6.0; it does not make
  224.   sense as a replacement to 6.0.1 on a 68K Mac.
  225. 
  226.   I have been unable to confirm which version of the Office 4.2x
  227.   Update for Power Mac was rolled into Word 6.0.1a. Versions n/a and
  228.   1.0 of the updater conflicted with the Global Village Toolbox
  229.   extension and STF Technologies FAXstf software. Microsoft fixed
  230.   the problem with version 1.01. According to Ric Ford's MacInTouch
  231.   News Archive for 11-Jul-96, early versions of the Office 4.2x
  232.   Update for Power Mac also conflict with System 7.5.3's Apple Menu
  233.   Options control panel.
  234. 
  235. <http://www.macintouch.com/newsarch1996q3.html>
  236. 
  237.   The Empowerment Pack installer does not permit you to choose
  238.   whether to install 68K, fat, or PowerPC version of Word 6.0.1a,
  239.   and according to Corl (who discussed this with a Microsoft Support
  240.   engineer), the Empowerment Pack installs a fat version, so watch
  241.   out if your hard disk is almost full. Reports from Corl and also
  242.   on Usenet indicate that the fat version will add approximately 4
  243.   MB to the size of the Word application, if you didn't previously
  244.   have the fat version installed.
  245. 
  246.   Oddly, the pack fails to include additional document converters
  247.   available for Word, or to make any sort of reference to such
  248.   updates. You can find out more through Microsoft's online
  249.   knowledge base:
  250. 
  251. <http://www.microsoft.com/kb/deskapps/word/q119859.htm>
  252. 
  253.   I'd like to see Microsoft make such a CD an annual shipment. I'd
  254.   also like to see it routinely include all the little updates
  255.   associated with Office software, and include a rich and
  256.   intelligent set of information and links to Microsoft's Web-based
  257.   knowledge base.
  258. 
  259. 
  260. Claris OfficeMail Debuts
  261. ------------------------
  262.   by Adam C. Engst <ace@tidbits.com>
  263. 
  264.   Claris OfficeMail is an interesting solution to the email problems
  265.   of many small offices and schools. These groups want and need to
  266.   use email to communicate within their organizations and, given the
  267.   undeniable utility of Internet email, they also want to be able to
  268.   send and receive mail from the Internet. For the most part, they
  269.   generally don't have large budgets, nor do they have dedicated
  270.   computer support people who know how to run mail servers. And,
  271.   despite the ever-increasing popularity of the Web, many may not
  272.   yet have dedicated Internet connections of any sort.
  273. 
  274. <http://www.claris.com/products/ClarisOfficeMail/>
  275. 
  276.   The $299 OfficeMail is a LAN email server that supports SMTP and
  277.   POP, the main ways of sending and receiving Internet email, and
  278.   claims to be easy to set up, with three steps for internal use and
  279.   an additional three steps if you want to send and receive Internet
  280.   email. I walked through the steps, and I have to admit, it's dead
  281.   simple; Claris deserves credit for making the setup so easy. You
  282.   can even get your own subdomain name within the clrs.com domain.
  283. 
  284.   OfficeMail comes with a 5-pack of Claris Emailer for reading
  285.   email, which is another good move, since Emailer is a powerful
  286.   email client with some compelling features, most notably the
  287.   capability to send and receive email from America Online and
  288.   CompuServe as well as the Internet. Emailer's glaring flaw (the
  289.   way it creates an individual file for each email message you
  290.   receive) is due to be fixed in the next version and probably
  291.   wouldn't seriously affect the low-volume use from most users of
  292.   OfficeMail. You can also use the free Eudora Light or any other
  293.   POP-based Internet email program to send and receive mail from a
  294.   Claris OfficeMail server.
  295. 
  296.   OfficeMail has reasonable system requirements, which is important
  297.   because small offices and schools are likely to want to run the
  298.   program on an old Mac that's sitting around. OfficeMail requires a
  299.   68020 or higher, with 4 MB of RAM for a 68K Mac and 8 MB for a
  300.   Power Mac. You'll want a fair amount of disk space since
  301.   OfficeMail has to store all the incoming email on disk until the
  302.   user checks mail - a couple of large attachments will make a small
  303.   hard disk struggle under the load. Of course, you need an
  304.   AppleTalk or TCP/IP network, but it need not be connected to the
  305.   Internet because OfficeMail requires a modem (preferably a fast
  306.   one) to send and receive Internet email.
  307. 
  308.   OfficeMail uses the modem to connect to ClarisLink, a service run
  309.   by HoloNet using CompuServe Packet Network dialup numbers
  310.   (presumably around the world). The fee is $39.95 per month for 10
  311.   hours and about $5.95 per hour after that (plus a $25 registration
  312.   fee), which is probably reasonable for the normal email
  313.   requirements of a small office. The trick is that OfficeMail uses
  314.   UUCP (Unix to Unix CoPy), an older protocol used primarily for
  315.   transferring email and Usenet news.
  316. 
  317.   If you're at all new to the Internet you may not have even heard
  318.   of UUCP. UUCP programs aren't high-profile, nor are they
  319.   frequently updated, since UUCP hasn't changed much in a long time.
  320.   But, you can still get UUCP accounts from some Internet providers,
  321.   and for inexpensive email using an offline model (where your
  322.   computer connects, sends and receives mail, and disconnects,
  323.   preferably in an automated fashion), UUCP still works fine. We at
  324.   TidBITS used UUCP for years until finally getting a dedicated
  325.   Internet connection toward the end of 1994, and I wrote about UUCP
  326.   extensively in the first two editions of Internet Starter Kit for
  327.   Macintosh (the chapter was pulled from the print version of the
  328.   third edition, but appears in the online version.)
  329. 
  330. <http://www.mcp.com/hayden/iskm/iskm3/pt3/ch15/ch15a.html>
  331. 
  332.   The main UUCP program for the Mac, uAccess, was marketed for a
  333.   while by InterCon Systems as UUCP/Connect, but rights reportedly
  334.   reverted back to Tim Endres, the developer, some time ago, and
  335.   I've heard nothing about it since. There are two other free
  336.   implementations of UUCP, Mac/gnuucp and uupc (which is reportedly
  337.   slated for an upgrade soon). Check the URL below for the Mac UUCP
  338.   software that's generally available.
  339. 
  340. <ftp://ftp.tidbits.com/pub/tidbits/tisk/inet/uucp/>
  341. 
  342.   By using UUCP and tying OfficeMail to a specific Internet
  343.   provider, Claris removed the complexity of dealing with TCP and
  344.   potentially PPP, both of which can prove troublesome for novices
  345.   to set up, particularly without sufficient documentation. (There's
  346.   a reason why the fourth edition of Internet Starter Kit for
  347.   Macintosh devotes an entire chapter to troubleshooting advice
  348.   related to connections.)
  349. 
  350.   In the process, Claris also opted _against_ making OfficeMail a
  351.   full SMTP server, something that's not clear from Claris's
  352.   propaganda about the program. Although an email client program
  353.   like Eudora can use SMTP to connect to OfficeMail, OfficeMail
  354.   cannot send mail out to the Internet via SMTP, as do full SMTP
  355.   servers like the free Apple Internet Mail Server and Stalker
  356.   Software's flexible CommuniGate system, which is available for
  357.   free evaluation. So, if you have a dedicated Internet connection,
  358.   you can use OfficeMail, but it must still use a modem to connect
  359.   to ClarisLink to send and receive email.
  360. 
  361. <http://cybertech.apple.com/AIMS.html>
  362. <http://www.stalker.com/CommuniGate/CommuniGate.html>
  363. 
  364.   Actually, that's not entirely true - you don't have to connect to
  365.   ClarisLink. OfficeMail seems to work only with ClarisLink, but in
  366.   an undocumented feature, you can use, or at least try to use, any
  367.   UUCP account with any Internet provider. Claris doesn't advertise
  368.   or document this feature because setting up a UUCP email
  369.   connection isn't easy, but with a bit of work it should be
  370.   possible. OfficeMail uses the Apple Modem Tool to control the
  371.   modem, so you can change its settings to dial your Internet
  372.   provider. Then, in the Claris OfficeMail folder, there's another
  373.   folder called Claris OfficeMail Files. In it is a file called Mail
  374.   Connect Script, which is a text file of the connect script
  375.   OfficeMail uses to login and retrieve email. It's not a task for
  376.   the faint of heart, but you could edit that script (keep backups!)
  377.   to connect to your Internet provider instead of ClarisLink. The
  378.   script language is unusual, but simple and documented briefly at
  379.   the top of the Mail Connect Script file. Needless to say, don't
  380.   expect Claris to provide any help whatsoever if you attempt this
  381.   hack, but if you're experienced with UUCP and are helping someone
  382.   else set up a UUCP account, it might be a good solution.
  383. 
  384.   So, if you have no dedicated Internet connection and want email,
  385.   Claris OfficeMail is worth investigating. If you have a dedicated
  386.   Internet connection via modem to a single Mac, but not to your
  387.   entire network, check out CommuniGate or the combination of Apple
  388.   Internet Mail Server and the shareware AIMS LocalTalk Bridge,
  389.   which enables you to distribute mail internally to Macs on your
  390.   network running Eudora Light. Finally, if you have a dedicated
  391.   Internet connection for your entire network, try Apple Internet
  392.   Mail Server or CommuniGate.
  393. 
  394. <ftp://ftp.tidbits.com/pub/tidbits/tisk/inet/mail/aims-localtalk-bridge-13.hqx>
  395. 
  396.   As a postscript, I wrote the first draft of this article as a rant
  397.   after receiving and installing Claris OfficeMail partly because I
  398.   was irritated by Claris's silly spelling of OfficeMail as
  399.   "OfficeM@il" (same with "Em@iler"), but mostly because all the
  400.   OfficeMail information claimed that OfficeMail supported a number
  401.   of Internet standards, including SMTP. However, I couldn't get it
  402.   to work as an SMTP server, nor could I see any SMTP setup options.
  403.   I decided to check all this with Claris, and I had to talk to the
  404.   developer before I was able to confirm that OfficeMail can't talk
  405.   to SMTP servers, that OfficeMail uses standard UUCP, and that it
  406.   was theoretically possible to use other UUCP accounts. The
  407.   propaganda didn't even include UUCP as one of the Internet
  408.   standards that OfficeMail supports - the only mention of UUCP on
  409.   Claris's Web site is in a pricing comparison note. Those seem like
  410.   fairly major points to me, and they deserve mention somewhere in
  411.   OfficeMail's documentation and reviewer's guide. OfficeMail may be
  412.   great for novices, but if it confuses sophisticated users and
  413.   writers through incomplete documentation, it's in serious danger
  414.   of receiving undeserved bad press.
  415. 
  416. 
  417. Keeping Robots Out of Your Corner of the Net
  418. --------------------------------------------
  419.   by Tonya Engst <tonya@tidbits.com>
  420. 
  421.   Search engines and searching tools have become ubiquitous on the
  422.   Internet. People flock to search engine sites in order to find
  423.   information quickly, and the information available comes with
  424.   startling breadth and depth. (See Kirk McElhearn's article in
  425.   TidITS-333_).
  426. 
  427.   For instance, I just searched AltaVista for "watermelon." I've
  428.   barely scratched the surface of my search results, but I've
  429.   already read about the status of the Texas watermelon crop,
  430.   scanned an article about preparing watermelon (along with
  431.   nutritional information), and visited a Web page devoted to
  432.   Cezanne's painting, "Still Life with Watermelon and Pomegranates."
  433. 
  434. 
  435. **Indexing Robots** -- Search engines acquire much of their
  436.   information through robots. Also known as spiders or crawlers,
  437.   robots traverse the Web, looking for and recording information.
  438.   Robots typically start with URLs that seem like a reasonable
  439.   starting spot, such as a URL submitted by a user, a page having
  440.   lots of links, or the top level of a site. A robot accesses the
  441.   initial page and then recursively accesses all pages linked to
  442.   from that page. The robot might also check out all pages that it
  443.   can find on a particular server. After accessing a page, the robot
  444.   works with the search engine to index portions of the page,
  445.   perhaps the title, some or all of the text, specific keywords, or
  446.   other tagged elements.
  447. 
  448.   One topic that deserves attention, however, is how to prevent
  449.   search engines from indexing individual Web pages or Usenet news
  450.   postings. Conventions exist to keep robots out of specially-marked
  451.   Web pages or news postings, though whether individual robots
  452.   comply to these standards is purely voluntary. So far, mainstream
  453.   searching engines appear to respect these conventions.
  454. 
  455. 
  456. **Hey You, Get Out of My Site** -- Using the Robots Exclusion
  457.   Protocol, you can ask robots to ignore Web pages that you don't
  458.   want indexed. For example, you might want to store club meeting
  459.   minutes on the Web without having those minutes show up in search
  460.   engines. You could, of course, set up a password system, but that
  461.   might be a more complicated solution than you wish to implement.
  462.   You might also have a site whose pages change so frequently that
  463.   there's no point in a robot attempting to index them.
  464. 
  465.   To tell robots to go away, you place a robots.txt file on the
  466.   local root level of a Web site. Using a specific syntax, this file
  467.   tells robots that they should keep out of certain (or all)
  468.   sections of the server. If you want to set up such a file, I
  469.   recommend reading the World Wide Web Robots, Wanderers, and
  470.   Spiders page:
  471. 
  472. <http://info.webcrawler.com/mak/projects/robots/robots.html>
  473. 
  474.   As a brief example, though, to ask all robots to keep out of a
  475.   directory called watermelon, your robots.txt file might look like
  476.   this.
  477. 
  478.  User-agent: *
  479.  Disallow: watermelon/
  480. 
  481.   If you don't have enough control over your server to set up a
  482.   robots.txt file, you can try adding a META tag to the head section
  483.   of an HTML document. For instance, a tag like this:
  484. 
  485. <META NAME="ROBOTS" CONTENT="NOINDEX">
  486. 
  487.   tells robots not to index that particular page. Or, a tag like
  488.   this:
  489. 
  490. <META NAME="ROBOTS" CONTENT="NOFOLLOW">
  491. 
  492.   tells robots not to follow links on the page. Support for the META
  493.   tag among robots is more sporadic than the Robots Exclusion
  494.   Protocol, although most of major Web indexes currently support it.
  495.   Information on the robot META tag can be found in the Spidering
  496.   BOF (Birds of a Feather) Report:
  497. 
  498. <http://www.w3.org/pub/WWW/Search/9605-Indexing-Workshop/
  499. ReportOutcomes/Spidering.txt>
  500. 
  501. 
  502. **Private News** -- To keep the fingers of search engines out of
  503.   your Usenet news postings, you can create an "X-no-archive" line
  504.   in of your postings' headers:
  505. 
  506. X-no-archive: yes
  507. 
  508.   Although common news clients, such as NewsWatcher, permit you to
  509.   add an X-no-archive line to the headers of your news postings, you
  510.   aren't completely out of luck if your client doesn't permit you to
  511.   do so. At least one engine, Deja News, will ignore your posting if
  512.   you make the following text the first line of text in the body of
  513.   your message:
  514. 
  515. X-no-archive: yes
  516. 
  517.   In addition, if you inquire personally, Deja News will remove your
  518.   posts from their archive; to ask, send email to
  519.   <comment@dejanews.com>.
  520. 
  521. 
  522. **Assumption of Non-Privacy** -- The source of confusion regarding
  523.   privacy and Internet indexing systems usually stems from the
  524.   assumption (made by most search engines) that _all_ information
  525.   they find is public unless marked otherwise.
  526. 
  527.   Many Internet veterans have no problem with the search engines'
  528.   assumption that all information is public, since much of the
  529.   material has always been available one way or another. However,
  530.   some new Internet users find the practice startlingly invasive.
  531.   For these Internet users, it's like being told every phone call
  532.   they made during the last year was recorded by a private company,
  533.   who's now giving away those conversations to anyone who asks.
  534. 
  535.   The long-term memory of these search engines makes the
  536.   ramifications of their behavior larger than ever. Though Digital's
  537.   AltaVista search engine currently only remembers the last few
  538.   months of Usenet, Deja News has archives going back to early 1995,
  539.   and repeatedly claims that it wants to index all the way back to
  540.   Usenet's inception in 1979, where possible. In 1979, how many
  541.   Usenet users could have known about the X-no-archive tag?
  542.   Furthermore, though the robot and archive exclusion standards may
  543.   help keep your material out of major, high-profile indexes, there
  544.   are indexing and archiving systems out there that respect no such
  545.   rules.
  546. 
  547.   If you're highly concerned about the privacy of your email and
  548.   Usenet postings, check out anonymous remailers and PGP, a
  549.   controversial strong encryption program from Phil Zimmerman. Both
  550.   topics are beyond the scope of this article.
  551. 
  552. <http://www.well.com/user/abacard/remail.html>
  553. <http://www.io.com/~combs/htmls/crypto.html>
  554. <http://world.std.com/~franl/pgp/>
  555. 
  556.   If you're not particularly concerned about privacy, still remember
  557.   that your words on the Internet may become immortal - anything you
  558.   write on Usenet will be archived somewhere for eternity, anything
  559.   you publish on the Web will be indexed somewhere. Choose your
  560.   words with care - you may have to stand behind them in a future
  561.   situation that you cannot currently imagine.
  562. 
  563.   In the future, as privacy becomes a larger issue on the Internet
  564.   horizon, we can probably expect commercial and consumer
  565.   newsreaders and publishing tools to tout "privacy compatibility"
  566.   as a feature. No doubt newsreaders will soon come pre-configured
  567.   to insert X-no-archive headers by default, and Web authoring
  568.   programs will come with preferences to insert robot META tags and
  569.   create robots.txt files automatically. However, these features
  570.   will not alter the fundamental assumptions of Internet indexing
  571.   tools: everything is public.
  572. 
  573. 
  574. $$
  575. 
  576.  Non-profit, non-commercial publications may reprint articles if
  577.  full credit is given. Others please contact us. We don't guarantee
  578.  accuracy of articles. Caveat lector. Publication, product, and
  579.  company names may be registered trademarks of their companies.
  580. 
  581.  This file is formatted as setext. For more information send email
  582.  to <setext@tidbits.com>. A file will be returned shortly.
  583. 
  584.  For information on TidBITS: how to subscribe, where to find back
  585.  issues, and other useful stuff, send email to: <info@tidbits.com>
  586.  Send comments and editorial submissions to: <editors@tidbits.com>
  587.  Issues available at: ftp://ftp.tidbits.com/pub/tidbits/issues/
  588.  And: http://www.tidbits.com/tb-issues/
  589.  To search back issues with WAIS, use this URL via a Web browser:
  590.  http://wais.sensei.com.au/macarc/tidbits/searchtidbits.html
  591.  -------------------------------------------------------------------
  592.